ELFK日志分析系统之Filebeat一、Filebeat简介Filebeat有两个主要组成部分组成：prospector（探勘者）和harvesters（矿车）。这些组件一起来工作来读取文件并将时间数据发送到指定的output。prospector：负责找到所有需要进行读取的数据源。harvesters：负责读取单个文件的内容，并将内容发送到output中，负责文件的打开和关闭。二、Filebeat的工作方式启动filebeat时，它将启动一个或多个输入，这些输入将在日志数据指定的位置中查找。对于filebeat都会启动收集器。每个收集器都会读取单个日志以获取新内容，并将新日志数据发送到fi
1.索引创建索引：put/索引名称？pretty查询索引：get_cat/indices?v删除索引：delete/index_name?pretty2.数据2.1插入数据PUT/index/_doc/id{Json数据}示例数据：PUT/product/_doc/1{"name":"xiaomiphone","desc":"shoujizhongdezhandouji","price":3999,"tags":["xingjiabi","fashao","buka"]}2.2.更新数据全量更新：使用put关键字，和插入数据格式相同，会完全替换掉原始数据（某些字段不传，就更新成空了）更新字段：
文章目录下载chartselasticsearch部署Kibana文件改动由于之前使用helm部署EFK，感觉在过程上有些麻。因此我在helm-charts的7.16分支上写了一个job，使得用户名密码及ssl证书可以自动生成并在k8s里创建secret。所以部署时ssl是默认开启的。helm-charts:7.16分支的改动纯属个人兴趣，仅作参考。官方elastic/helm-charts在最新的改动中也实现了自动生成证书的功能。下载charts$gitclonehttps://github.com/cloudenmin/helm-charts.git$gitcheckout7.16elas
1.获取所有数据#默认情况下，es一次展示10条数据,通过from和size来控制分页#索引goods的查询GETgoods/_search{"query":{"match_all":{}},"from":0,"size":100}#如果没有查询条件也可以使用最简单的GETgoods/_search#结果示例{"took":5,"timed_out":false,"_shards":{"total":2,"successful":2,"skipped":0,"failed":0},"hits":{//查询结果的统计对象"total":5545,//命中数"max_score":2.239803
Elasticsearch作为一款分布式、高扩展、高实时的搜索与数据分析引擎，安装方便，使用高效，很多公司都把它作为日志分析数据分析的第一选择，通常用的比较多的Elasticsearch的页面可视化查询工具是elastic家族的Kibana，然而有些同学觉得比较麻烦，还得需要启动服务来为Kibana界面作为支撑，还要修改配置等一些列的操作，所以Elasticsearchhead这样一款小巧灵活，安装方便、即插即用的插件就很值得你去拥有，本篇文档介绍了head插件的下载、安装、连接Elasticsearch以及在Elasticsearch上操作索引及数据等说明。1、head插件下
在docker中运行elasticsearch、kibana一、MacOs首先需要安装doceker，提供两种方式，选一种方便的就好1.命令行安装方式安装命令行xcode-select--install安装homebrew/usr/bin/ruby-e"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/master/install)"参考：https://www.jianshu.com/p/bca8fc1ff3f0安装dockerbrewcaskinstalldocker这里受限于网络一般会比较慢，需要耐心等待参考：ht
1、索引的操作1、创建索引 对ES的操作其实就是发送一个restful请求，kibana中在DevTools中进行ES操作 创建索引时需要注意ES的版本，不同版本的ES创建索引的语句略有差别，会导致失败如下创建一个名为people的索引，settings，一些设置，mappings字段映射PUTpeople{"settings":{"number_of_shards":3,"number_of_replicas":1},"mappings":{"man":{"properties":{"name":{"type":"text"},"country":{"type":"k
安装elasticsearch、kibana、IK分词器、扩展IK词典后面还会安装kibana，这个会提供可视化界面方面学习。需要注意的是elasticsearch和kibana版本一定要一样！！！否则就像这样elasticsearch1、创建网络因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：dockernetworkcreatees-net2、镜像安装pull安装因为镜像文件比较大，将近1个G所以下载会很慢，根据自己需求选择合适方式。如果觉得比较大，可以找一个现成的镜像包之后拖到虚拟机里面即可。dockerpullelasticsearch:7
ElasticSearchNested类型全文检索、聚合查询Nested类型全文检索创建索引PUT/products1{"mappings":{"properties":{"fulltext":{"type":"text"},"name":{"type":"text","fields":{"keyword":{"type":"keyword","ignore_above":256}}},"reviews":{"type":"nested","properties":{"rating":{"type":"integer"},"author":{"type":"text","copy_to":"f
es默认的搜索排序是_score，通过评分排序，但是对于大数据量，评分一致的情况下也还是会乱序，官方说可以使用_doc,但是这个索引插入顺序是按照分片存的，也就是为2的顺序可能多个分片都存在。所以实测并不好用。博主在做大数据量的排序时候，使用datatime字段排序，解决了乱序问题。本文我想使用另外的解决方案，解决这个使用indexsorting在Elasticsearch中创建新索引时，可以配置每个Shard中的分段如何排序。默认情况下，Lucene不提供任何排序。index.sort.*设置定义了哪些字段应该用于每个段中的文档排序。如下我们提供了一个单一字段排序PUTmy-index-00
